凤凰网原创 在算法系统中，个人只是数据对象或是处理客体。因此，凡涉及个人重要权利的事项，完全交由算法都应尽可能审慎。
作者｜赵宏
中国政法大学教授
借助健康码进行疫情防控，迄今已成为各地政府的通行做法。最初健康码的开发和适用，是利用大数据技术分析预测确诊者、疑似者、密切接触者等重点人群的流动情况，但之后逐渐演变成个人健康风险等级的行政证明，更是各地政府用以判断个人是否能否复工复产、以及能否进入公共场所的法定凭证。 因为在极大程度上提升了政府防疫的效率与精准度，健康码也获得大范围推广，以至于成为个人继身份证、电话号码、人脸之后的新型身份标识。由于成为应急状态下疫情防控的重要举措，在推行健康码适用中，各地政府也不断对其扩展适用。典型的，例如在今年初很多地方政府都启动健康码的弹窗设置，即对曾在14天内到访过风险区域、或曾购买过包括退热药、止咳药、抗生素和抗病毒药品在内的四类药品，或因出现发热等十一类症状而到诊所等基层医疗机构就诊的人员，进行弹窗提示。 收到弹窗提示的市民，或者需在规定时间例如72小时内进行数次核酸检测才能解码，或者需向所在街道社区报备、出示行程码、签署承诺书以排除风险，或者必须在无病例的地区呆足14天后才能重新申请健康码。此类的延伸适用，当然是为了精准防控的需要，且带有明确的事先预防的目的。但在增加弹窗设置后，被误伤的市民也不在少数。有的市民抱怨自己只是购买了眼药水、创可贴甚至是孩子的益生菌就被弹窗，有的并未去过风险区域、仅因为手机信号与确诊患者或者密切者存在时空伴随就被系统自动抓取而弹窗。被健康码弹窗误伤，本质上是数据治理、算法决策、自动化行政这些新兴治理方式所引发的问题的反映。伴随智能时代的到来，人类的有限理性开始逐步让步于机器和算法，算法在信息掌握、运行速度、处理复杂问题的能力上，都表现出远超于人类的优势，也因此可以长驱直入，甚至深度介入公共决策。但是，当我们将传统治理和行政决策交由算法来完成时，其引发的问题同样不少。算法权力化所带来的，不仅仅是公共管理效能的提高，其同样隐藏了权力异化、甚至不断侵蚀个人权利的可能。而在技术理性的光环加持下，这些危险被悄然掩盖。算法进入公共决策有禁区吗？
健康码的应用及弹窗设置，是典型的算法决策，即由机器模拟人类思维进行自动化判断并做出相关决策。 最初的算法决策只是审慎地被限定于商业领域，适用于私主体的商业交易行为，但应用于健康码并附加上限制出行等处置，是算法深入公共决策的表现。 将权力行使交托于技术，当然可以提升决策效率和行政监管的规范性，在风险社会甚至可以提前检测、预警以及研判。但因其能对个人产生直接或间接的影响力和控制力，也易出现蚕食甚至侵蚀个人权利的可能。 具体到健康码弹窗。一旦弹窗后，市民出行自由即受限制，因为弹窗事由还涉及买药和就医；同样被影响的，还有个人的买药就医权。在传统法理中，如果政府采取某种决策手段会涉及个人的基本权利，就必须经过法律保留和法律优先的检视，在程序上也需事先征求公众意见，或获得相对人同意。但某项公共决策交由算法，人们会觉得此处改变的只是决策工具，因此对其准入往往不做任何防备，也未设置任何门槛限制，这就使算法得以畅通无阻地进入公共管理领域。技术，也从公共决策的辅助者，一跃变成决策的作出者。欧洲国家最早察觉出这一风险，并对完全倚赖算法和自动化决策而对个人做出涉及其重大权益的决定予以警示。依据《欧盟一般数据保护条例》的规定：“如果某种仅依自动化而做出的决策会对数据主体产生法律效力或对其造成重大影响，则数据主体有权不受上述决策的限制。”这意味着，如果自动化决策根据的是对个人数据的分析、会对数据主体产生重大影响，而决策又完全基于自动化处理并无人工干预的话，自动化决策在原则上就要被禁止。 欧盟之所以设置这种一般性禁止，是因为机器虽然有无以伦比的计算能力和深度学习能力，却仍旧无法与人类产生共情，因此在裁断有关他人生命自由等重大事项时，几乎不能期待其表达出人类的同情和善意，也不能期待其做出最符合人性道义的处理。对此，只要想想那个“枪口抬高一厘米”的案件即可明了。在柏林墙被推倒，两德统一后，当年守墙的士兵亨里奇被告上法庭，原因在于其曾射杀欲翻越柏林墙的一名东德青年。在法庭上，律师辩护说，亨里奇作为一名守墙士兵，执行命令就是天职。但最终，法官还是对其进行了判决。
| 1989年11月10日晚，柏林，大批民众攀上柏林墙。
在那份被后世不断传颂的判决书里，法官这样写道，“在这个世界上，除了法律之外还有良知，当法律和良知冲突时，良知才是最高的行为准则，而不是法律。作为一个心智健全的人，当你发现有人翻墙而举枪瞄准时，你有把枪口抬高一厘米的权利，而这也是每个人应当主动承担的良心义务！”从此，“枪口抬高一厘米”成了人类良知的代名词。试想，如果将守墙之事交由机器或算法来决断完成，其结果就只是冰冷的杀戮。我们无法期待机器会对他人产生怜悯，也无法寄望于算法会对弱者法外开恩、网开一面。在算法系统中，个人只是数据对象，或是处理客体。算法可以习得人类的决策过程，甚至比人类更精准和规范，却无法获得人们基于情感和道德而拥有的决策智慧。也因此，但凡涉及个人重要权利的事项，要完全交由算法都应该尽可能的审慎。 因为在全自动化决策下，机器和算法只是根据过往的数据进行分析、建模、测试和运行，并根据过去的关联性统计和运算行为自动得出结论。在此过程中，面向未来的因果判断以及基于个案的价值权衡被排除，个案差异所要求的平等权保护和情势复杂所要求的核查义务也可能被忽略。也因为算法存在这样的重大缺陷，对其进入公共决策就应设立禁区。典型的，如刑事司法审判和量刑就绝不能完全交由算法来完成，而那些攸关个人基本权利的公共决策也应审慎地诉诸算法，即使交由算法来辅助完成，也绝不能排除人工介入的可能。 除未设立禁区就将公共决策权让渡外之外，算法所带来的另一问题，还在于行政正当程序的架空和个人权利的克减在传统行政学理中，我们要求行政在做出决定时都必须谨守正当法律程序，这里尤其包括事先告知、在做出影响当事人权利义务的决定时允许其进行申辩陈述，为其提供程序参与和表达自己意见的机会。这些正当程序是行政做出决策时必须履行的义务，传统法治则通过公权机关以程序义务来确保行政实体结果的正当。 但算法决策和自动化行政的运行步骤，是将所有信息与内容杂糅进既定的算法之中得出相应结果，其结果也在系统内瞬间完成，此时已无法再分离出活动的程序、步骤和方法。这就使传统的正当程序控制，在面对算法决策时显著失灵。 在健康码弹窗中，算法仅根据个人的行踪轨迹就判定出个人的感染风险，并由此进行弹窗的预防性控制；在此过程中，行政法所要求的事先告知、听取意见、陈述申辩等步骤全部被略去。 伴随正当程序原则被架空的，是个人权利的缩减。在健康码最初设置弹窗时，因涉及人群是政策颁布前14日内购买退热、止咳、抗感染、治疗咽干咽痛四类药品人员，因此未经提示即出现弹窗的情况比比皆是。又因为后续处理不到位，市民去做核酸检测时，又被告知健康码因有弹窗而无法做核酸。于是，在新政颁布后，就出现大量诸如“市民健康报出现弹窗，想解码却陷入死循环”的现象。而出现这种现象的原因又在于，这种弹窗设置根本不符合行政法所要求的，行政机关在做出处理决定前，必须提前告知当事人事实理由的程序要求。在健康码弹窗设置中被缩减的，还有当事人的程序参与权和知情权。弹窗设定最典型的一类，是“近期购买过四类药品的”。所谓“四类药品”，又指退热药、止咳药、抗生素和抗病毒药品。为配合上述防疫要求，各地药监部门还纷纷下发四类药品参考目录，要求药店根据实际经营品种情况，建立四类药品的店内销售清单。但是，这些药品参考目录几乎鲜少向公众公告，在很多药监局的官网上也无从查询。 既然算法是依据药品参考目录做出弹窗提示，在行政法上就可被类比为行政做出裁量决定时必须参考的基准，如果悖离该基准，就需提供充分的理由说明。也因此，《行政处罚法》第34条规定，“行政裁量基准应当向社会公布”。因为未向公众公布，也未征求公众意见，药监部门在设定基准时，未达到更好的风险预防效果，会倾向于将大量药品列入清单并附加弹窗效果。如此处理的结果，是公众在疫情期间的就医买药权受到更严苛的限制。被排除的，还有公众的申辩权。在健康码出现弹窗后，信息提示写的都是“如有疑问或异议，请致电市民服务热线或点击‘我有疑问’留言”。结果是，市民服务热线因拨打人数过多而基本无法接通。又因为算法决策属于模块化处理，即使个人提出异议，也几乎很难再启动人工调查。人工介入的请求权，在此同样被排除。这一点同样有悖《个人信息保护法》第24条的规定：“通过自动化决策方式做出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者通过自动化决策的方式做出决定”。 公众难以行使的，还有救济权。按照行政法的传统学理，对其权利产生影响的决定，个人有权申请复议提起诉讼。我身边的很多朋友在毫无缘由就遭遇健康码弹窗时，也总会第一时间想到起诉。但真要行使此项权利，就会发现又面临被告无法辨识的困难。我国健康码，无一例外都是由各地政府主导、企业研发的产物，属于典型的公私合作类型。而健康码的生成涉及信息的收集、算法的设计、标准的制定以及最终的评价赋值，弹窗究竟是由哪个环节造成，当事人几乎无从判断，这给法律救济带来极大困难。这一点反映的，同样是因为技术的垄断所导致的个人反制能力的弱化。因为无法理解运算过程，个人不仅无法再有效参与，甚至不可能对不利决定发起挑战。 算法建立在对个人信息广泛收集的基础上，而被作为健康码基础数据库的，又包括重点人群管控库、全国密切接触者信息库、重点区域分类库、全国健康码共享库等即时数据库和查询人口综合库、电子证照库、信用信息库、地理信息库等；涉及的数据类型，除政府数据库中的个人数据外，还有手机运营商的用户数据及个人在其他平台中的相关数据。 正是在此基础上，健康码借助空间、时间和人际关系的维度，对个人健康状况和感染风险进行评测。因为针对的是应急状态下为防堵疫情传播的需要，健康码最初在信息收集上几无任何阻力，在收集上也表现出全员收集、实时收集、事无巨细甚至是长期保存的特征，这些其实给个人隐私的泄露带来风险。尤其是作为健康码基础的数据，都是涉及个人的健康状况、生物识别、行踪轨迹等在内的敏感个人信息，其一旦被泄露或非法使用，就很容易导致个人人身财产权受到危害，人格尊严受到侵蚀，甚至于未来遭遇歧视性对待。从最初启用到后期开发，伴随数据抗疫的深度扩展，个人已经感受到隐私空间的限缩，因为出入任何场所几乎都要刷码，个人在离家后的行踪轨迹也被巨细靡遗地予以描摹和记录。值得一提的是，人脑作为记忆载体可能会伴随时间经过而遗忘，但庞大的数据库会将你所有的信息记得清清楚楚，不加干预就永远不会遗忘。由此，那些可能无涉公共利益的个人敏感信息，如果在疫情结束后还会被机器留存，就有可能随时转变为数字时代的“红字”。也因此，在适用算法进行公共决策时，时刻注意对个人信息权的保护，绝不能以彻底牺牲个人信息权进行数据治理同样是现阶段必须重视的问题。 2020年，曾有篇全网刷屏的文章，描述了算法如何将外卖骑手困在系统里。在文中，作者感慨“骑手们永远无法靠个人力量去对抗系统分配的时间”，在算法的强大压制下，“送外卖变成了和死神赛跑，和交警较劲，和红灯做朋友”。算法和机器的适用，最终都是为了改进我们的生活，提升治理的水平，而绝不是使个人被贬低和物化，甚至被技术操控。自上世纪开始，就有很多影视作品反映人类创造机器，却最终被机器所控制、俘获和毁灭。算法的应用，对于机器而言是更大程度上的赋能，也因此我们需再度警惕其可能产生的各种危机。编辑｜萧轶
主编｜萧轶
本文系凤凰网评论部特约原创稿件，仅代表作者立场。